簡(jiǎn)介 BPServiceActor 主要在DataNode中用于和NameNode溝通的類。主要功能如下： 與 namenode 進(jìn)行預(yù)注冊(cè)握手。 向 namenode 注冊(cè)。 定期向 namenode 發(fā)送心跳。 處

neovim是從vim的一個(gè)分支fork出來的，從性能等方面來講都比vim強(qiáng)很多，所以從vim轉(zhuǎn)到neovim了。 本文涉及的neovim配置都在https://git.zeekling.cn/linux/nvim-co

問題現(xiàn)象 執(zhí)行docker stop xxxx報(bào)錯(cuò)如下： Error response from daemon: cannot stop container: xxxx: tried to kill container,

jobhistory 作業(yè)緩存 jobhistory 一般會(huì)保存一部分作業(yè)信息到內(nèi)存中，查詢作業(yè)信息的時(shí)候一般會(huì)從內(nèi)存查詢，如果內(nèi)存查詢不到就會(huì)從磁盤上掃描。 jobhistory 緩存一般分為兩層，第一層是guava緩

NameNode客戶端協(xié)議詳解 協(xié)議的定義主要在類NamenodeProtocols中。如下： public interface NamenodeProtocols extends ClientProtocol, Dat

Namenode最重要的兩個(gè)功能之一就是維護(hù)整個(gè)文件系統(tǒng)的目錄樹（即命名空間namesystem） 。 HDFS文件系統(tǒng)的命名空間（namespace） ， 也就是以“/”為根的整個(gè)目錄樹， 是通過FSDirectory

作業(yè)啟動(dòng) 作業(yè)提交的客戶端比較核心的類是Job.java，看作業(yè)啟動(dòng)的源碼需要從這個(gè)類開始看。 Job.java 作業(yè)啟動(dòng)的入口函數(shù)為waitForCompletion函數(shù)。當(dāng)前函數(shù)的核心函數(shù)為submit()，主要如下

常見命令記錄，總結(jié)篇

簡(jiǎn)介 Yarn采用了基于事件驅(qū)動(dòng)的并發(fā)模型： 所有狀態(tài)機(jī)都實(shí)現(xiàn)了EventHandler接口，很多服務(wù)（類名通常帶有Service后綴）也實(shí)現(xiàn)了該接口，它們都是事件處理器。 需要異步處理的事件由中央異步調(diào)度器（類名通常

簡(jiǎn)介 ResourceManager(RM)，RM是全局的資源管理器，負(fù)責(zé)整個(gè)系統(tǒng)的資源管理和分配。主要由以下兩部分組成： 調(diào)度器：根據(jù)容量、隊(duì)列限制條件將系統(tǒng)資源分配給各個(gè)應(yīng)用。 資源分配的單位是container